Si nous tentons de faire un résumer de ce que nous avons expérimenté jusqu'à présent concernant les instabilités qui peuvent apparaître, on peut dire que les divergences se produisent lorsque les trois conditions suivantes sont réunies :
Nous remarquons que le problème de stabilité ne se produit pas uniquement lors de l'optimisation d'une stratégie mais lors de la prédiction des valeurs des états et des actions. Le problème n'est pas non plus le fait d'incertitudes que l'on pourrait avoir sur l'environnement car on pourrait expérimenter sur le fait que ces instabilités sont également présentes avec les méthodes de programmation dynamique.
Si deux des problèmes cités sont présents, mais pas les trois, alors l'instabilité peut-être résolue. Il est naturel dans ce cas de chercher à en supprimer une.
Parmi les trois, l'approximation des fonctions apparaît comme évidemment celle dont on ne peut pas se passer. Nous avons besoin de méthodes permettant de gérer les problèmes complexes avec une grande puissance de calcul. Il nous faut donc au minimum des approximations linéaires qui prennent en compte beaucoup de caractéristiques et de paramètres. Les méthodes par agrégation des états sont quant à elles trop simples et pas assez performantes.
L'entraînement avec des méthodes qui ne "bootstrap" pas est possible mais demande des ressources de calcul beaucoup plus importantes et sont donc moins efficaces. Les méthodes de Monte-Carlo par exemple nécessitent de grandes quantités de mémoire pour sauvegarder tout ce qui peut se produire dans l'environnement durant les transitions car les calculs ne sont effectués Une fois les revenus finaux obtenus. Par ailleurs, il existe des cas où l'utilisation des méthodes qui "bootstrap" permettent d'obtenir de meilleures performances que les méthodes de Monte-Carlo. De plus, les méthodes qui "bootstrap" sont beaucoup plus rapides.
Enfin, il y a la problématique de l'entraînement off-policy. Mais peut-on s'en passer ? ... Souvent, les méthodes on-policy sont adaptées aux problèmes rencontrés. Par exemple, pour des problèmes d'apprentissage par renforcement sur des modèles non connus, on peut utiliser le contrôle Sarsa plutôt que le Q-Learning. Les méthodes off-policy augmente la flexibilité sur les stratégies cibles. Cela peut être intéressant mais n'est pas forcément nécessité. Cependant, l'apprentissage de type off-policy est essentiel dans de nombreux cas que nous n'avons pas forcément rencontrés...
C'est par exemple le cas si un agent doit apprendre non pas une unique fonction des valeurs et une unique stratégie mais un grand nombre d'entre eux en parallèle. C'est par exemple le cas des humains ou des animaux lorsqu'ils apprennent à partir de différents retours sensoriels et non pas uniquement des récompenses. On peut par exemple être surpris par des événements inhabituels et apprendre d'eux, même si leur "valeur" est plutôt neutre. Il y a dans ce cas de nombreuses stratégies cibles, et dans ce cas une seule stratégie comportementale ne peut pas toutes les égaler. L'utilisation d'un apprentissage en parallèle devient alors intéressant afin que la stratégie comportementale puisse recouvrir l'ensemble des stratégies cible de manière simultané. L'apprentissage de type off-policy et donc ici primordiale.